Анатолий Карпов, «Методы оценки размера выборки в А/Б-тестах. От размера эффекта до симуляций»

Анатолий Карповm, СЕО Karpov.Courses
Kolesa Conf 2022, 8 октября

Описание доклада:
Уметь отвечать на вопрос «Как долго должен идти А/Б-тест?» — важнейший навык аналитика. Если вы запускаете А/Б-тест на глазок, будьте готовы, что вас ждёт множество проблем: проблема подглядывания, недостаточная мощность теста, ложные срабатывания. Мы подробно разберём, как правильно оценивать размер выборки и время проведения теста, и с какими неочевидными трудностями вы можете столкнуться на этом пути.

В докладе обсудим:

– Как правильно подглядывать за А/Б-тестами.
– Что сильнее: t-test или непараметрика?
– Почему симуляция данных позволяет глубже понять свой продукт.
– Как правильно оценить размер выборки для эксперимента в случае нетривиального дизайна исследования.